home *** CD-ROM | disk | FTP | other *** search
/ Just Call Me Internet / Just Call Me Internet.iso / com / internet / nos / nos-ppp / docs / nntp.txt < prev    next >
Text File  |  1992-05-20  |  8KB  |  187 lines
  1.  
  2. Date: Sat, 28 Apr 90 04:50:43 +0200
  3. From: klemets@sics.se
  4. Subject: NNTP for NOS
  5. To: tcp-group@ucsd.edu
  6.  
  7. Because of this recent discussion about News support in NOS, I thought
  8. it would be a nice idea to implement NNTP in NOS.
  9. I have only done a client yet however.
  10. The client is controlled by the following commands:
  11.  
  12.     nntp addserver <nntpserver> <interval>
  13.   where <nntpserver> is the hostname of a server from which you want
  14.   to fetch the news. <interval> is the interval between polls, 
  15.   measured in seconds.
  16.  
  17.     nntp dropserver <nntpserver>
  18.     nntp kick <nntpserver>
  19.     nntp listserver
  20.   What these commands do should be obvious.
  21.  
  22.     nntp groups <list of groups>
  23.   where <list of groups> is a series of USENET newsgroups, separated
  24.   by blanks or (preferably) commas. This command controls which
  25.   newsgroups you will receive. By default you will receive all newsgroups.
  26.   You should probably use this command to restrict the number of groups,
  27.   unless you have unlimited disk space. The "*" and "!" signs are
  28.   supported. For example
  29.     nntp groups rec.ham-radio*,!rec.ham-radio.swap
  30.   will make you receive all groups whose name matches rec.ham-radio
  31.   except rec.ham-radio.swap.
  32.  
  33. The NNTP client asks the server for the Message-ID's of any new
  34. articles that have arrived after a certain date. The client compares
  35. the Message-ID's that it gets from the server with ID's of old articles.
  36. These old ID's are kept in the /spool/news/history file. The client
  37. then requests those articles that it does not already have.
  38. The date and time when a server was last contacted is stored in the
  39. file /spool/news/nntp.dat. The date can be changed manually if necessary.
  40. Don't forget to create the /spool/news directory, by the way.
  41.  
  42. The articles are not stored as separate files, as is common in UNIX.
  43. Instead, they are converted to mailbox format and stored in one
  44. separate file for each newsgroup. The reason for this is that you are
  45. then able to use the BBS already inherent in NOS to read the articles.
  46. It is also possible to use BM for that matter.
  47.  
  48. A typical entry in the /spool/areas file would be:
  49.  
  50. rec/ham-radio/packet   The packet radio newsgroup
  51.  
  52. The client still needs some enhancement. In particular, it would be
  53. nice if it could post articles too. I might have to use the stat()
  54. call. Has it been fixed for DesqView yet?
  55.  
  56. The client should also make it possible to just grab the header of an
  57. article, and let the user decide if the rest of the article should be
  58. transfered. But this would require a special news reader utility.
  59.  
  60. The source for this is vailable with ftp from sics.se. The filename
  61. is archive/packet/ka9q/nos/nntp.arc.
  62.  
  63. /Anders SM0RGV
  64.  
  65. ----------------------------------------------------------------------------
  66.  
  67. The new changes (as of May 12, 1990) are described next, followed by older
  68. changes:
  69.  
  70. Newsgroup name adjustment
  71.     Previously, newsgroups whose names contained characters that were not
  72.     valid in DOS filenames would not get created.  I now map any character
  73.     that is nonalphanumeric and not '-' into an underscore ('_').
  74.  
  75. Locking of nntp.dat history files
  76.     Previously, it was possible for a session to open while another was still
  77.     in progress; the result would be that two processes would be trying to
  78.     update these files.  I've added appropriate mlock() and rmlock() calls to
  79.     prevent this.  If nntp.dat is locked when I try to first read it, I close
  80.     the session and try again later.  If it's locked when I try to update it,
  81.     I simply don't update it; the next session to that server will get the
  82.     old date in the NEWNEWS command, but the old message ids will be found in
  83.     the history file and so not transferred.  If the history file is locked,
  84.     I abort the session; this is not a great solution, but is better than the
  85.     alternative.
  86.  
  87. Updating of nntp.dat changed
  88.     Instead of overwriting it in place (which for reasons unknown didn't seem
  89.     to work for me), I now recreate it.
  90.  
  91. Enhanced NNTP DIR command
  92.     You can now give a second argument, which becomes the Newsdir directory.
  93.  
  94. Changed date stamp on 'From ' lines
  95.     used to be mm/dd/yy hh:mm:ss, now it's just elapsed seconds since origin
  96.     of GMT.  Make it both easier to parse and easier for expire to work with.
  97.  
  98. Buffers in getarticle() now malloc'd
  99.     used to be on stack -- Phil pointed out it's better to mallocw() them,
  100.     so I do.
  101.  
  102. The following describes my changes to Anders Klemets' NNTP client for
  103. the KA9Q NOS package.  The changes described herein are as of May 6, 1990.
  104.                               --Bernie Roehl
  105.                                 broehl@sunee.waterloo.edu
  106.  
  107. NNTP TRACE command
  108.     The syntax is the same as for SMTP TRACE.  There are four levels of
  109.     detail that can be specified:
  110.         0 - no tracing
  111.         1 - only serious errors reported
  112.         2 - same as 1, plus transient errors reported
  113.         3 - same as 2, plus session progress reported
  114.         4 - same as 3, plus actual received articles displayed
  115.     Note that (1) is the default, and corresponds to the way things were
  116.     in Klemets' original code.
  117.  
  118. More error messages
  119.     I've added some error reporting (most of it subject to the nntp trace
  120.     setting).
  121.  
  122. NNTP DIR command
  123.     Allows you to set a spool directory other than the mail directory.
  124.     Note that this is *not* the "Newsdir" directory (where history and
  125.     nntp.dat are kept) but rather the spool directory where the articles
  126.     themselves are kept.  The idea is that you could store articles on
  127.     another drive.
  128.  
  129. Connection windows
  130.     You can now specify a range of times at the end of an "nntp add" command,
  131.     in the form "nntp add localserver 600 22:00-23:00", which would cause
  132.     the nntp connections to be made only between 10 pm and 11 pm local
  133.     time.  (NOTE: uses gettime() call, which is DOS-specific).
  134.  
  135. Site-specific newsgroups
  136.     You can now override the "nntp groups" setting for specific servers.
  137.     For example,
  138.           nntp groups !rec.pets.gerbils
  139.           nntp add myfeed 1800
  140.           nntp add anotherfeed 7200 2:00-5:00 rec.pets.gerbils
  141.     would take a full newsfeed from site "myfeed" every half-hour, but
  142.     would not take rec.pets.gerbils.  The group rec.pets.gerbils is brought
  143.     in from site "anotherfeed" every 2 hours, but only connecting between
  144.     2 and 5 am local time.
  145.  
  146. Accumulating NNTP ADD commands
  147.     Because additional information is now added on to NNTP, the commands
  148.     can get quite long.  Therefore, "nntp add" commands now merge their
  149.     values.  For example,
  150.            nntp add myfeed 1800 rec.pets.gerbils,6:00-9:00,7:30-9:30
  151.            nntp add myfeed 7200 comp.binaries.eniac
  152.            nntp add myfeed 600
  153.            nntp list
  154.     will produce the following:
  155.         myfeed        (595/600 7:30-9:30) rec.pets.gerbils,comp.binaries.eniac
  156.     Note that the interval value *replaces* the previous one, as does the
  157.     window setting; the groups accumulate (up to 512 bytes total).
  158.     To reset the group list, "nntp drop" the entry and re-add it.
  159.  
  160. File Locking
  161.     The mlock() and rmlock() functions within NOS are now used to lock the
  162.     news files while they're being updated.  This is for use in conjunction
  163.     with a (yet-to-be-written) news-expiry program.
  164.  
  165. Date/time stamp on 'From' lines
  166.     'From' lines in the news files now have the date and time appended,
  167.     in the form MM/DD/YY HH:MM:SS.  This for use with a (yet-to-be-written)
  168.     news expiry program.  (Note: this is the *arrival* date of the article,
  169.     not the date it was posted on!)
  170.  
  171. Increased stack space
  172.     Even in the original nntpcli.c, the stack allocated was not really enough.
  173.     I've bumped it to 3k (up from 1k) because of all the array[NNTPMAXLEN]'s
  174.     in getarticle() and elsewhere.
  175.  
  176. Updating of nntp.dat only if the session is succesful
  177.     Otherwise, we might lose articles.
  178.  
  179. That's about it.  Be sure to read Anders Klemets' original description,
  180. in klemets.txt, and of course read through the code to see how it works :-)
  181.  
  182. If you have any questions about the code, send mail to me at
  183. broehl@sunee.waterloo.edu, or to tcp-group@ucsd.edu.
  184.  
  185. I'm working on an expiry program (as time permits...), and am thinking about
  186. how to implement posting (using IHAVE).  Will keep you posted.
  187.